Az emberi beszéddel a szemantikus tartalmon túl (mondanivaló) sok egyebet is ki lehet fejezni. A hangszínezet, az intonáció (hanglejtés), a ritmusváltozások mind alkalmasak arra, hogy a beszélő akaratlagos vagy éppen spontán érzelmi szándékát, hangulati vagy egészségi állapotát is a közlendő mondanivaló mellett, azzal egyidejűleg kifejezzék. Ezeket nevezik nem verbális eszközöknek, amelyek megvalósítására az emberi hang és beszédképző mechanizmus szintén képes (hangszalag feszítettség változtatása, ritmusváltás, hangerő váltása, zárt artikuláció stb.). A hangalapú automatikus érzelem-felismeréshez már számos gépi tanuló eljárást kipróbáltak, de a folyamatosan megjelenő új deep learning technikák új eljárások bevezetését teszik lehetővé. A téma során a hallgatók feladata olyan gépi tanuló eljárások (beleértve a mélytanulást is) tesztelése, amellyek beszédjel bemenet segítségébel érzelemfelismerést valósítanak meg. Az eljárást akár ember-gépi interfész és ügyfélszolgálati automatizmusokban is fel lehet használni. További információkért keressen minket az Informatika épület B 156-os szobájában, a sztaho.david@vik.bme.hu email címen, vagy Microsoft Teams-en (Sztahó Dávid, sztaho.david@vik.bme.hu).

Human speech can be used to express much more than semantic content (meaning). The tone of voice, intonation (pronunciation), rhythm changes are all capable of expressing the speaker's intentional or spontaneous emotional intentions, mood or state of health, in addition to the message to be conveyed. These are called non-verbal information, which can also be identified by the human voice and speech formation mechanism (change of vocal cord tension, change of rhythm, change of volume, closed articulation, etc.). Several machine learning methods have already been tried for automatic emotion recognition based on voice, but the emergence of new deep learning techniques is constantly allowing the introduction of new methods. In this topic, the task of the students is to test machine learning procedures (including deep learning) that implement emotion recognition using speech signal input. The procedure can also be used in human-machine interface and customer service automation. For more information, please contact us in the Informatics building, room B 156, at sztaho.david@vik.bme.hu or Microsoft Teams (Sztahó Dávid, sztaho.david@vik.bme.hu).